Agent Skills Should Go Beyond Text: The Case for Visual Skills
超越文本的智能体技能：引入视觉先验实现可复用多模态技能
🧭 Agent 多模态视觉技能复用 ★ 深度解读
Peking University · University of Wisconsin · MIT-IBM Watson AI Lab
指出纯文本技能在视觉任务中存在空间信息瓶颈，提出结合文本规则与视觉先验的可复用多模态技能范式 VISUALSKILL 及自动生成流水线 AutoVisualSkill。
📌 工作参考价值（4 点）
- GUI 自动化与电商平台操作：将常用控件的空间布局、点击区域等制作为静态视觉先验（如按钮模板、热区图），与文本规则绑定，可显著提升 Agent 在网页/App 上的定位精度，类似思路可用于商品页面自动化测试、数据采集。
- 密集计数与货架管理：在库存盘点、货架商品计数等场景，采用动态视觉锚点将已计数对象做可视化标记并反馈给模型，形成外部空间工作记忆，有效减少重复计和漏计。
- 可复用技能库构建：借鉴 VISUALSKILL 的分离式设计，将业务规则（文本）与视觉参考（截图、布局原型）打包为可检索、可组合的技能单元，降低对新模型的尺寸敏感度，方便技能跨任务迁移。
- 自动技能生成流水线：AutoVisualSkill 的诊断门控和双轨生成方法可用于自动判断任务是否需要视觉支撑，并将少量示例转化为通用视觉协议，适合大规模构建面向电商运营、广告设计等视觉密集型任务的 Agent 技能库。